自然語言處理是結合人工智慧和語言學兩個領域所發展出的學科,主要是在探討如何處理及運用自然語言,這裡我舉幾個例子,像是資料萃取、語音辨識和機器翻譯都是自然語言處理用來解決問題的.在自然語言處理中,文字與它的元資料會被稱為一個實例,而單一實例稱為文件,一群實例則稱為文集.將文件分解成一個一個較小的部分,這個過程被稱為標記化,過程中會產生標記,標記則是演算法能夠理解的含義單元.整個文集中所有標記的集合稱為詞彙.

程式語言 vs 自然語言

程式語言簡單來說就是為了人類與電腦溝通而設計出來的人工語言,會因為應用目的會使用不一樣的程式語言,例如 C、Java、Python等.

自然語言中的自然這個詞是相對於人工語言來的自然,自然語言是人類彼此之間溝通而自然發展出的語言並且具有結構性的語法,自然語言處理的終極目標就是讓電腦能理解或運用人類語言.

文字標記化

"When life seems hard, the courageous do not lie down and accept defeat; instead, they are all the more determined to struggle for better future." -Elizabeth II

從文字產生n元语法(n-gram)

詞形還原

詞類標籤

參考資料:

• https://blogs.nvidia.com.tw/2022/02/13/natural-language-processing-first-steps-how-algorithms-understand-text/
• https://zh.m.wikipedia.org/zh-tw/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86
• https://aiacademy.tw/what-is-nlp-natural-language-processing/